R Notebook

Master prompt

Załączone pliki przedstawiają oficjalną klasyfikację zawodów i specjalności w 2023 (więcej znajdziesz tutaj https://psz.praca.gov.pl/rynek-pracy/bazy-danych/klasyfikacja-zawodow-i-specjalnosci). Plik kzis-hiearchy-2023 przedstawia kody zawodów (od 1 do 6 cyfr) według układu hierarchicznego. To są kody, które mnie interesują przy klasyfikacji zawodów. Plik KZis-desc-level-2 określa definicję 2 cyfrowych kodów. Wykorzystaj tę wiedzę przy klasyfikacji ofert pracy do kodów zawodów. Przy odpowiedziach skorzystaj też z oficjalnego słownika dostępnego tutaj: https://psz.praca.gov.pl/rynek-pracy/bazy-danych/klasyfikacja-zawodow-i-specjalnosci/wyszukiwarka-opisow-zawodow/?p_p_id=jobclassificationportlet_WAR_nnkportlet&p_p_lifecycle=0&p_p_state=normal&p_p_mode=view&p_p_col_id=column-1&p_p_col_count=1

Prompt dla 100

Na podstawie wiedzy z projektu (project knowledge) oraz opisu, który tam podałem dotyczącego klasyfikacji zawodów i specjalności 2023 dla każdego rekordu w załączonym pliku zapisz 3 najbardziej prawdopodobne 6 cyfrowe kody zawodu (struktura: kolumna id_ogl, kod1, kod2, kod3). Wynik ma być w postaci pliku csv gdzie każdy wiersz odpowiada wierszowi z załączonego pliku (sample-100-for-lmm)

dict <- fread("../data/kzis-occup-dictionary-2024.csv", colClasses = "character")
head(dict)

Handcoded

evals <- fread("../data-raw/llm/sample-100-for-llm-evaluated.csv", colClasses = "character")
evals[id_ogl %in% evals$id_ogl]

Evaluated

cbop_llm <- fread("../data-raw/llm/sample-100-for-llm-evaluated.csv", colClasses = "character")
cbop_llm |>
  melt(id.vars = "id_ogl") |>
  {\(x) x[, .(llm = list(unique(value))), id_ogl]}() -> cbop_lmm

CBOP

hand[source == "CBOP", .(id_ogl, job.title, job.description)] |> 
  unique() -> for_eval_cbop

fwrite(x = for_eval_cbop, file = "../data-raw/llm/sample-cbop-for-llm.csv")

Compare to 100

Evaluated by Claude

compare to automatic

for_evaluation[kody_n == 1][, .(overlap1=substr(kody[[1]],1,1) == substr(kod1,1,1),
                                overlap2=substr(kody[[1]],1,1) %in% substr(c(kod1,kod2),1,1),
                                overlap3=substr(kody[[1]],1,1) %in% substr(c(kod1,kod2, kod3),1,1)), id_ogl] |>
  {\(x) x[, lapply(.SD, mean), .SDcols = overlap1:overlap3]}()

for_evaluation[, .(overlap1=length(intersect(kody[[1]], kod1)) > 0,
                   overlap2=length(intersect(kody[[1]], c(kod1,kod2))) > 0,
                   overlap3=length(intersect(kody[[1]], c(kod1, kod2,kod3))) > 0), id_ogl]

Whole test data

split -l 200 -d data-raw/llm/test-for-llm.csv test-for-llm
mv test-for-llm* ./data-raw/llm/